现有的机器人抓取操作通常在良好光照条件下开展,此时目标细节清晰、区域对比度高,而在夜间、遮挡等弱光环境下目标的视觉特征微弱,会导致现有的机器人抓取检测模型的检测准确率急剧下降。为提高弱光场景下稀疏、微弱抓取特征的表征能力,提出一种融合视觉特征增强机制的抓取检测模型,通过视觉增强子任务为抓取检测施加特征增强约束。对于抓取检测模块,采用仿U-Net框架的编码器-解码器结构实现特征的高效融合;对于弱光增强模块,从局部、全局层面分别提取纹理、颜色信息,以实现兼顾目标细节与视觉效果的特征增强。此外,分别构建弱光Cornell数据集和弱光Jacquard数据集两个新的弱光抓取基准数据集,并基于上述数据集开展对比实验。实验结果表明,所提弱光抓取检测模型在基准数据集上的准确率分别达到了95.5%和87.4%,与生成抓取卷积神经网络(GG-CNN)、生成残差卷积神经网络(GR-ConvNet)等现有抓取检测模型相比,准确率在弱光Cornell数据集提升11.1、1.2个百分点,在弱光Jacquard数据集上提升5.5、5.0个百分点,取得了较好的抓取检测效果。
终身学习(LLL)作为一种新兴方法打破了传统机器学习的局限性,并赋予了模型能够像人类一样在学习过程中不断积累、优化并转移知识的能力。近年来,随着深度学习的广泛应用,越来越多的研究致力于解决深度神经网络中出现的灾难性遗忘问题和摆脱稳定性-可塑性困境,并将LLL方法应用于各种各样的实际场景中,以推进人工智能由弱向强的发展。针对计算机视觉领域,首先,在图像分类任务中将LLL方法归纳为四大类型:基于数据驱动的方法、基于优化过程的方法、基于网络结构的方法和基于知识组合的方法;然后,介绍了LLL方法在其他视觉任务中的典型应用和相关评估指标;最后,针对现阶段LLL方法的不足之处进行讨论并提出了LLL方法未来发展的方向。
针对现有三维形貌重建模型无法有效融合全局时空信息的问题,设计深度聚焦体积(DFV)模块保留聚焦和离焦的过渡信息,并在此基础上提出全局时空特征耦合(GSTFC)模型提取多景深图像序列的局部与全局的时空特征信息。首先,在收缩路径中穿插3D-ConvNeXt模块和3D卷积层,捕捉多尺度局部时空特征,同时,在瓶颈模块中添加3D-SwinTransformer模块捕捉多景深图像序列局部时序特征的全局关联关系;然后,通过自适应参数层将局部时空特征和全局关联关系融合为全局时空特征,并输入扩张路径引导生成聚焦体积;最后,聚焦体积通过DFV提取序列权重信息,并保留聚焦与离焦的过渡信息,得到最终深度图。实验结果表明,GSTFC在FoD500数据集上的均方根误差(RMSE)相较于最先进的全聚焦深度网络(AiFDepthNet)下降了12.5%,并且比传统的鲁棒聚焦体积正则化的聚焦形貌恢复(RFVR-SFF)模型保留了更多的景深过渡关系。
药物合成反应,特别是不对称反应是现代药物化学的重要组成部分。化学家们投入了巨大的人力和资源来识别各种化学反应模式,以实现高效合成和不对称催化。量子力学计算和机器学习算法在这一领域的最新研究证明了通过计算机学习现有药物合成反应数据并进行精确虚拟筛选的巨大潜力。然而,现有方法局限于单一模态的数据来源,并且由于数据少的限制,只能使用基本的机器学习方法,使它们在更广泛场景中的普遍应用受到阻碍。因此,提出两种融合多模态数据的药物合成反应的筛选模型来进行反应产率和对映选择性的虚拟筛选,并给出了一种基于Boltzmann分布进行加权的3D构象描述符,从而将分子的立体空间信息与量子力学性质结合起来。这两种多模态数据融合模型在两个代表性的有机合成反应(C-N偶联反应和N,S-缩醛反应)中进行了训练和验证,结果表明前者的R2相对于基线方法在大多数据划分上的提升超过了1个百分点,后者的平均绝对误差(MAE)相对于基线方法在大多数据划分上的下降超过了0.5个百分点。可见,在有机反应筛选的不同任务中采用基于多模态数据融合的模型都会带来好的性能。
针对细长路面病害人工检测耗时长和当前检测方法精度不足的问题,依据病害的弱语义特性和异常几何属性,提出了能够精准定位和分类出病害的二阶段细长路面病害检测方法Epd RCNN。首先,针对细长路面病害的弱语义特性,提出了一种复用低层特征并反复融合不同阶段特征的骨干网络;其次,在训练过程中,使用一种符合病害几何属性分布的锚框机制来生成高质量的正样本供网络训练;然后,在单一高分辨率特征图上预测病害包围框,并针对该特征图使用并行级联空洞卷积模块来提升其多尺度特征表达能力;最后,针对形状各异的候选区域,使用由可变形感兴趣区域池化(RoI Pooling)和空间注意力模块组成的候选区域特征改良模块来提取符合病害几何属性的候选区域特征。实验结果表明,所提方法在光照充足图像上的平均准确率均值(mAP)为0.907,在存在光照问题图像上的mAP为0.891,综合mAP为0.899, 表明该方法具有良好的检测性能和对光照的鲁棒性。
可微分架构搜索(DARTS)可高效、自动地设计神经网络架构,但其超网络的构建方式与派生策略的设计之间存在性能“鸿沟”。针对上述问题,提出了优化搜索空间下带约束的可微分神经网络架构搜索算法。首先,以候选操作关联的架构参数为量化指标来分析超网络的训练过程,发现在派生架构中未生效的候选操作none占据了权重最大的架构参数,从而导致算法搜得的架构表现欠佳,针对该问题设计了优化的搜索空间;然后,分析了DARTS超网络与派生架构之间的差异后,以架构参数为基础定义了架构熵,并把架构熵作为DARTS超网络目标函数的约束项,从而促使超网络缩小与派生架构的差异;最后,在CIFAR-10数据集上进行了实验。实验结果表明,所提算法在其中搜得的架构取得了97.17%的分类准确率,综合准确率、参数量和搜索时间优于对比算法。所提出的算法是有效的,提升了搜得架构在CIFAR-10数据集上的准确率。
为实现亮度不均的复杂纹理背景下表面划痕的鲁棒、精确、实时识别,提出一种基于深度神经网络的表面划痕识别方法。用于表面划痕识别的深度神经网络由风格迁移网络和聚焦卷积神经网络(CNN)构成,其中风格迁移网络针对亮度不均的复杂背景下的表面划痕进行预处理,风格迁移网络包括前馈转换网络和损失网络,首先通过损失网络提取亮度均匀模板的风格特征和检测图像的知觉特征,对前馈转换网络进行离线训练,获取网络最优参数值,最终使风格迁移网络生成亮度均匀且风格一致的图像,然后,利用所提出的基于聚焦结构的聚焦卷积神经网络对生成图像中的划痕特征进行提取并识别。以光照变化的金属表面为例,进行划痕识别实验,实验结果表明:与需要人工设计特征的传统图像处理方法及传统深度卷积神经网络相比,划痕漏报率低至8.54%,并且收敛速度更快,收敛曲线更加平滑,在不同的深度模型下均可取得较好的检测效果,准确率提升2%左右。风格迁移网络能够保留完整划痕特征的同时有效解决亮度不均的问题,从而提高划痕识别精度;同时聚焦卷积神经网络能够实现对划痕的鲁棒、精确、实时识别,大幅度降低划痕漏报率和误报率。
为了降低信号重构算法的复杂度,实现对稀疏度未知信号的重构,提出了一种基于一次投影子空间追踪(OPSP)的信号重构方法。首先根据约束等距性质确定信号稀疏度的上下界,并将最接近上下界中值的整数作为稀疏度的估计值;然后在子空间追踪(SP)算法的框架下,去掉了迭代中观测向量在支撑集上的投影过程,降低了算法的复杂度。为了更准确地衡量算法的重构性能,提出用完整信号的重构概率作为衡量算法重构性能的指标。与传统的SP算法相比,所提算法可以重构稀疏度未知的信号,且重构时间短,重构概率高。仿真结果验证了该算法的有效性。